По сообщению корреспондента новостного агентства «Хавза», в последние дни, с ростом обсуждений искусственного интеллекта и его аналитических основ в когнитивных науках, также стал актуальным термин «когнитивное управление». По этому поводу мы побеседовали с доктором Мохаммадом Резой Касеми, исследователем в области искусственного интеллекта и когнитивных наук и членом Совета по искусственному интеллекту религиозных семинарий.

— В начале беседы, пожалуйста, объясните нашим читателям, что именно означает когнитивное управление?

Когнитивное управление — это новый парадигм в цифровую эпоху. Этот концепт подразумевает целенаправленное и стратегическое использование технологий, основанных на когнитивных науках, таких как искусственный интеллект, обработка больших данных и даже социальная инженерия, для влияния на поведение граждан и его направления. В профессиональной терминологии это можно определить как управление, опирающееся на алгоритмы глубокого обучения (Deep Learning Models), анализ больших поведенческих данных (Behavioral Big Data Analytics) и психо-социальную инженерию (Psycho-Social Engineering).

Проще говоря, правительства, анализируя глубинные данные о поведении и психологии людей, могут создавать среды, правила и стимулы так, чтобы люди незаметно склонялись к желаемым решениям и действиям. Иными словами, когнитивное управление можно рассматривать как современный инструмент управления, который осуществляет своего рода невидимый контроль над сознанием и поведением людей.

Искусственный интеллект открывает возможность анализировать мельчайшие детали поведения и даже подсознательные реакции человека. При когнитивном управлении больше нет необходимости в принуждении или прямом подавлении поведения — среды и правила создаются так, что человек, не осознавая этого, принимает заранее определённое решение. Именно здесь оказывается под вопросом свобода воли человека.

— Тогда можно ли это явление описывать такими терминами, как «социальная инженерия» или «продвинутая мягкая сила»?

— Верно. Основное различие когнитивного управления от традиционных форм управления заключается именно в его «незаметности» (Invisible Consent Engineering). Если раньше правительства в основном использовали открытые инструменты «жёсткой власти», то сегодня данные и алгоритмы позволяют создавать такой тип руководства и контроля, который граждане ощущают менее напрямую. Алгоритмы нацеливаются точно на психологические слабости каждого человека в нации или глобальном обществе и разрабатывают для них программы воздействия.

— Есть ли у этого явления положительные стороны? Можно ли использовать его для повышения эффективности общества? Создаёт ли оно возможности для правительств и сообществ?

— Любой новый инструмент или технология могут быть одновременно и возможностью, и угрозой. Всё зависит от того, как их используют. Когнитивное управление, безусловно, может создавать возможности: от повышения эффективности системы принятия решений до оптимизации государственных услуг, лучшего управления ресурсами и даже прогнозирования кризисов.

Представьте, если поведенческие модели граждан будут хорошо проанализированы, можно предотвратить многие социальные, экономические или экологические проблемы. То есть технология может использоваться так, чтобы меньше вредить достоинству человека как свободного существа с собственной волей и мышлением и больше выполнять рекомендательную функцию. При условии, что она используется контролируемо, законно и алгоритмы не выходят из-под контроля.

— Каковы главные опасения в этой области и почему стоит опасаться когнитивного управления?

Вопрос когнитивного управления вызывает серьёзные угрозы, и я уже упомянул самые важные из них. Первая тревога связана с достоинством человека, его правами и соблюдением свободы воли и личных свобод. Следующая проблема — это вопрос конфиденциальности, которая с развитием киберпространства оказалась под серьёзной угрозой.

Когда правительства или, что ещё хуже, крупные компании, предоставляющие киберуслуги, получают возможность отслеживать и детально анализировать индивидуальное поведение и психологические особенности людей, возрастает риск злоупотреблений или сознательной манипуляции решениями граждан. Уже сегодня мы наблюдаем, что реклама в цифровой среде стала крайне целевой, и люди, сами того не осознавая, подвергаются пропаганде, специально направленной именно на них.

Даже информация и новости подаются пользователям в персонализированном формате. Связи, которые им предлагают, — всё выстраивается так, чтобы направить человека в определённое русло. Например, в политической сфере: если человек чаще читает новости конкретной партии или политической фракции, то вскоре обнаруживает, что вся информация, которую он видит, связана именно с этой фракцией. Когнитивная система человека начинает ошибаться: ему кажется, что всё цифровое пространство контролируется этой фракцией, и он делает ложные выводы. Это лишь минимальный пример явления, которое уже происходит.

Эта способность создала новый вид неравенства власти — между теми, кто имеет доступ к данным и технологиям, и теми, кто лишён такого доступа. То есть чем больше у компании пользователей, тем больше её политическое, культурное и экономическое влияние в обществе. Компании, как правило, продают эту возможность инвесторам через рекламу, и это, безусловно, вызывает серьёзную тревогу за будущее мира.

— Как вы видите будущее когнитивного управления? Возможно ли замедлить его развитие или установить ограничения?

Реальность такова, что когнитивное управление постепенно превращается в основной столп современной системы власти, которую некоторые называют «алгоритмической гегемонией» (Algorithmic Hegemony). Этот процесс уже во многом запущен. Если не будут разработаны и внедрены строгие этические и правовые рамки на уровне влиятельных государственных институтов, мир окажется на пути к реальности, в которой свобода выбора и личная автономия будут лишь иллюзией, а общество подвергнется своеобразной «перепрограммировке» на бессознательном уровне (Deterministic Cognitive Infrastructures) в беспрецедентных масштабах. Крупные транснациональные корпорации фактически будут торговать человеческим сознанием и психикой. Люди будут казаться свободными и уверенными в том, что принимают решения самостоятельно, однако на самом деле их выбор будет заранее запрограммирован, а искусственный интеллект — внедрять эти решения в их сознание.

Мировое сообщество должно параллельно с использованием преимуществ искусственного интеллекта выстраивать прочные этические и правовые механизмы, чтобы обеспечить сохранение человеческого достоинства, свободы выбора и прозрачности работы алгоритмов и интеллектуальных систем. Только в этом случае можно будет гарантировать, что этот мощный инструмент будет использоваться в интересах всего человечества.